Ban đầu, Bắc Chu Vũ Đế đối đãi một cách tôn trọng với Cao Vĩ, đích thân đến chào hỏi và xem là khách quý. Trong khi đó, Cao Giai và Cao Hiếu Hành đã tiến hành một nỗ lực kháng cự Bắc Chu ở Thương châu, và khi Bắc Chu Vũ Đế lệnh cho Cao Vĩ viết một thánh chỉ để lệnh cho Cao Giai đầu hàng, Cao Giai đã từ chối.

Vào mùa hè năm 577, Bắc Chu Vũ Đế trở về Trường An cùng với Cao Vĩ, cũng như các thân vương và quan lại của Bắc Tề, để Cao Vĩ ở phía trước của đám diễu hành chiến thắng, song chưa làm hại họ. Cao Vĩ được phong làm Ôn công.

Vào mùa đông năm 577, do e sợ gia tộc họ Cao, Bắc Chu Vũ Đế đã vu cáo Cao Vĩ âm mưu phản loạn cùng Mục Đề Bà, và sau đó hạ lệnh buộc Cao Vĩ và các thành viên khác trong hoàng tộc Bắc Tề phải tự sát. Chỉ có người em trai bị chứng phát triển chướng ngại là Cao Nhân Anh (高仁英) và người em trai bị câm Cao Nhân Nhã (高仁雅) của Cao Vĩ là được tha, song bị đày đến Thục. Chỉ đến khi Dương Kiên nhiếp chính dưới thời Bắc Chu Tĩnh Đế, các thành viên gia tộc họ Cao, bao gồm Cao Vĩ, mới được an táng hợp thức ở phía bắc Trường An.